边缘 AI / 边缘 AI 推理(Edge AI / Edge AI Inference)
定义
- 延迟从 300-1,000ms 降至 30-100ms — 实时对话/语音/视频 AI 体验可用
- 节省回源带宽 — 大量"短小高频"请求不必跨大洲传输
- 数据主权 — 用户数据可不出本地区
- 首字时延(TTFT)大幅改善 — LLM Streaming 用户体验关键指标
2026 年被业内定义为"边缘智能全面爆发年",CDN 节点全面升级为 AI 推理节点。
关键产品
海外
中国
与中心 AI 的差异
| 维度 |
中心化 AI(云端) |
边缘 AI |
| 模型规模 |
100B-2T 参数(如 GPT-4 / Claude) |
1B-70B 蒸馏 / 量化模型 |
| 单次推理时延 |
300-1,500ms |
30-100ms |
| 带宽消耗 |
高 |
低 |
| 单次成本 |
高 |
低(高 QPS 摊薄) |
| 适用场景 |
复杂 reasoning / 长上下文 |
实时对话 / RAG / 短任务 |
关键技术
- 模型压缩 — INT4/INT8 量化、剪枝、蒸馏(→ 模型部署与优化)
- 语义缓存(Fastly 核心技术) — 把语义相似的 prompt 命中已有结果,降低 GPU 调用
- 混合架构 — 云训练-边缘推理,训练在中心、推理在边缘
- Serverless GPU 编排 — 按请求计费的 GPU 算力
行业趋势
- CDN 厂商全面 AI 化 — Cloudflare/Akamai/Fastly 三家 AI 营收占比 2024 普遍 <5% → 2027E 预期 15-25%
- AI Gateway 成新入口 — AI Gateway 解决"多模型/多供应商"统一访问层
- 75% 数据在边缘(IDC 2025E)— 推理就近成大势所趋
- 混合云架构标配 — 大模型公司(如 OpenAI / Anthropic)也开始 CDN 边缘部署
关联